朱熹离开后，他的学生建读书堂于仙都岩。宝庆三年（1228），在青田进士叶嗣昌提议下，人们在鼎湖峰对面的伏虎岩下创建礼殿，作为讲贯之所，以示纪念。咸淳丁卯（1267）缙云进士户部尚书潜说友拨款扩建，名为独峰书院。
岁月无声，历史留音。步入沙孟海题名“晦翁遗迹”的院落，有花园、天井、围廊。建筑风格属晚清，厢房南北对称，由卷洞圆门和小门相连，天井中种有银杏、桂树和金钱松。正中厅内立有朱熹的雕像，书院的背后是山，站在天井中的桂树旁向上望去，见后山的山顶有一圆如明镜的透亮岩石，人称“月镜岩”。料想月圆之夜，书生们一手扶桂树，一手捧诗书，从月镜岩投下的月光让多少人梦想能蟾宫折桂。
